@奈良山
2年前 提问
1个回答
确保数据驱动的IT系统正常运行需要做什么
007bug
2年前
确保数据驱动的IT系统正常运行需要做以下这些:
需要确保在数据流水线的任何步骤中数据都不会丢失,因此需要监控每个程序正在处理的数据量,以便尽快检测到所有异常。
需要有对数据质量进行测试,以便在数据中出现任何意外值时,接收到告警信息。
需要监控应用程序的运行时间,以便每个数据源都有一个预定义的ETA(预期完成时间),并且会对延迟的数据源发出警报。
需要管理数据血缘关系,以便了解每个数据源的生成方式,在出现问题时,知道哪些数据和结果会受到影响。
系统应自动处理合法的元数据变更,并应立即发现和报告非法元数据变更。
需要对应用程序进行版本控制并将其与数据相关联,以便在程序更改时,知道如何对相关数据进行相应的更改。